Teoria de Resposta ao Item
Análise de Dados Ambientais
Universidade Estadual de Feira de Santana (UEFS)
INTRODUÇÃO À TRI
PROGRAMAÇÃO TEÓRICA
LIVROS IMPORTANTES
INTRODUÇÃO À TRI
INTRODUÇÃO À TRI
O QUE É TRI
Refere-se à uma família de modelos matemáticos que buscam explicar a relação entre o nível de habilidade / traço latente (theta, •) e o padrão de resposta aos itens de um determinado teste/escala.
nível de traço latente dos indivíduos.
TEORIA CLÁSSICA DOS TESTES
Teoria Clássica dos Testes (TCT) é a primeira tentativa de mensurar
fenômenos psicológicos
X** ****=**** ****Escore**** ****observado;**** **T = escore verdadeiro; E = erro aleatório.
TEORIA CLÁSSICA DOS TESTES
Infinitas repetições tendem a levar o erro a 0;
Galileu (Séc. 17)
Erros na estimativa do tempo dos movimentos dos astros tendem a zero Erro aleatório tenderia a zero, por não assumir uma tendência positiva ou negativa (Teorema Central do Limite)
(T = 100; X1 = 102; Xn = 98)
T = E[X]
T = *X** - E*
Onde: T = escore verdadeiro; X** ****=**** ****Escore ****observado;**** **E = erro aleatório.
Como se obteria o escore verdadeiro?
Por meio de um instrumento perfeito
Pela média de um conjunto de infinitas aplicações da mesma variável, no mesmo sujeito, por meio de um instrumento imperfeito
TEORIA CLÁSSICA DOS TESTES
Desenvolveu-se várias formas de atestar a fidedignidade dos testes
TEORIA CLÁSSICA DOS TESTES
Problemas adicionais:
TEORIA DA VARIÁVEL LATENTE
Teoria da Variável Latente (TVL) é um avanço importante, em relação à TCT
Desenvolve algoritmos que une, por meio de uma função de resposta ao
item, as respostas dos sujeitos aos seus níveis de traço latente
Características e Vantagens da Teoria de Resposta ao Item (Sobre a TCT e a
AF)
Algumas perguntas que a TRI responde:
Para qual grupo de sujeitos os itens do instrumento funcionam melhor ou pior?
Qual é o item mais fácil e mais difícil do meu teste?
Qual é o item tem o maior poder de discriminação dos participantes?
Qual é o item que tem maior probabilidade de ser acertado ao acaso?
Existem itens que são muito redundantes na mensuração do traço?
Como está a disposição dos itens ao longo do traço latente? Há lacunas na mensuração?
O escore do sujeito X é confiável? Ele errou os itens que deveria ou acertou muita coisa ao acaso?
O padrão de resposta da escala likert está adequado? TEORIA DA VARIÁVEL LATENTE
HISTÓRICO DA TRI
Ampla variedades de contribuições
Retrieved from Hambleton (1985)
Lawley (1933, 1934): Começou a desenvolver a estimação de parâmetros da TRI
Correlações entre os itens eram equivalentes entre si
Não estimava possibilidade de acerto ao acaso Lord (1952, 1953a, 1953b):
Primeiro a desenvolver métodos de estimação eficazes, aplicáveis a testes reais de desempenho
Desenvolve a Teoria de Resposta ao Item de 2 e 3-parâmetros logísticos (2 e 3-PL) Rasch (1960)
Desenvolve o seu modelo, separando a estimativa de dificuldade dos itens do parâmetro de habilidade das pessoas. Foca apenas na dificuldade dos itens. HISTÓRICO DA TRI
Samejima (1969, 1972)
Amplia a TRI dicotômica para dados politômicos (Graded Response Model) Andrich (1978)
Amplia o modelo de Rasch para dados politômicos (Rating Scale Model)
Master (1982)
1, 2, 3 E 4 PARÂMETROS LOGÍSTICOS
MODELOS DA TRI
A TRI apresenta diferentes modelos:
1 PARÂMETRO LOGÍSTICO (1-PL)
Modelo mais simples da TRI, que busca investigar a localização do item ao longo de um continuum de dificuldade (*item** location*) e relacionar a sua probabilidade de resposta com o nível de traço latente (theta) do respondente.
Modelo mais simples da TRI, que busca investigar a localização do item ao longo de um continuum de dificuldade (item location) e relacionar a sua probabilidade de resposta com o nível de traço latente (theta) do respondente.
Raciocínio visuoespacial
1 PARÂMETRO LOGÍSTICO (1-PL)
Escala de Ansiedade Social
Não me sinto confortável em conversar com pessoas desconhecidas
Tenho pavor de conversar com pessoas as quais eu não conheço Escala de Depressão
Às vezes, não tenho ânimo para fazer as minhas obrigações
Minha vida não tem sentido 1 PARÂMETRO LOGÍSTICO (1-PL)
Modelo mais simples da TRI, que busca investigar a localização do item ao longo de um continuum de dificuldade (item location) e relacionar a sua probabilidade de resposta com o nível de traço latente (theta) do respondente.
sujeito
27 + 12 = ?
1 PARÂMETRO LOGÍSTICO (1-PL)
sujeito
itens
Traço** ****latente:**** **Theta (•)
Dificuldade** ****do**** ****item**** ****(*****item****** ******location*****):**** **Delta ()
1 PARÂMETRO LOGÍSTICO (1-PL)
Curva** característica**** ****do**** ****item (CCI)**
Dificuldade** ****/**** ****localização**** ****do**** item**
Ponto onde a probabilidade do sujeito acertar ou errar o item é 50%
-
1 PARÂMETRO LOGÍSTICO (1-PL)
0
1
2
3
Item 1 → - • Item 2 → - Item 3 → •
1 PARÂMETRO LOGÍSTICO (1-PL)
0
1
2
3
Item 1 → - • Item 2 → - Item 3 → •
1 PARÂMETRO LOGÍSTICO (1-PL)
Probabilidade do sujeito acertar o item é uma função da distância** ****entre**** ****a**
dificuldade** ****do**** ****item ****e**** ****a**** ****sua**** ****habilidade.**
Na Análise de Rasch:
p(xj = 1|•, j) = probabilidade da resposta ser 1, para um sujeito com determinado nível de theta e item com determinado nível de dificuldade )
*e =** *constante log natural (2,7183)
1 PARÂMETRO LOGÍSTICO (1-PL)
Em modelos de 1-PL
*e** *: constante log natural (2,7183)
: parâmetro de discriminação fixo entre todos os itens
0
1
2
3
Item 1 → - • Item 2 → - Item 3 → •
1 PARÂMETRO LOGÍSTICO (1-PL)
Fixar o slope em 2 ajustaria o modelo aos dados.
1 PARÂMETRO LOGÍSTICO (1-PL)
Escalas politômicas
Os thresholds são:
Por que a dificuldade do item importa?
Dificuldade do item
Theta da amostra
1 PARÂMETRO LOGÍSTICO (1-PL)
Por que a dificuldade do item importa?
Dificuldade do item
Theta da amostra
1 PARÂMETRO LOGÍSTICO (1-PL)
Implicações práticas da dificuldade do item
Dificuldade do item
Theta da amostra
1 PARÂMETRO LOGÍSTICO (1-PL)
Implicações práticas da dificuldade do item
Calibração da medida
(de Ayala, 2005)
1 PARÂMETRO LOGÍSTICO (1-PL)
Modelos para dados dicotômicos e politômicos
2 PARÂMETROS LOGÍSTICOS (2-PL)
Dificuldade (b) e Discriminação (a)
Discriminação refere-se ao quanto o item é capaz de ‘discriminar’ sujeitos com diferentes níveis de traço latente, no que diz respeito à probabilidade de endosso ao item.
Curva (slope)
Quanto mais acentuada for a curva, maior é a discriminação do item Dificuldade = 2; Discriminação = 2.0
Dificuldade = 2; Discriminação = 0.5
Discriminação
Dificuldade = 2; Discriminação = 2.0
Dificuldade = 2; Discriminação = 0.5
2 PARÂMETROS LOGÍSTICOS (2-PL)
1-PL
2-PL
Curvas** ****Características**** ****dos**** ****Itens**** ****(CCIs)**
2 PARÂMETROS LOGÍSTICOS (2-PL)
Fórmula** ****da**** ****TRI**** ****2-****PL**
p(xj = 1|•, j) = probabilidade da resposta ser 1, para um sujeito com determinado nível de theta e o item com determinado nível de dificuldade *j** *)
*e =** *constante log natural (2,7183)
*j** *= discriminação variante entre o itens (subescrito j)
Fórmula da** ****TRI**** ****1-****PL**
2 PARÂMETROS LOGÍSTICOS (2-PL)
Modelos de 2-PL ainda utilizam a distância entre a dificuldade do item e o nível de habilidade do respondente
Pode variar de -ꝏ até + ꝏ (Geralmente, entre +- 3; Baker & Kim, 2017)
0 (nenhuma)
0 > moderada < 0.4
0,4 > moderada < 1
1.0 > alta < 2.1
2.1 > muito alta
2 PARÂMETROS LOGÍSTICOS (2-PL)
Modelos de 2-PL podem auxiliar na estimativa do traço latente dos sujeitos
Itens com maior poder de discriminação tendem a diminuir o erro-padrão da estimativa do theta (de Ayala, 2005)
Itens muito fáceis (todos acertam) ou muito difíceis (todos erram) tendem a ter baixa discriminação
2 PARÂMETROS LOGÍSTICOS (2-PL)
3 PARÂMETROS LOGÍSTICOS (3-PL)
Dificuldade, discriminação e chute (acerto ao acaso; c)
qualquer item, apenas por adivinhar aleatoriamente.
Para toda resposta de múltipla escolha, há a chance do sujeito acertar ao acaso
O chute é refletido no intercepto do eixo y (ou seja, probabilidade) da CCI.
3 PARÂMETROS LOGÍSTICOS (3-PL)
Quanto mais alto o valor de c, maior a probabilidade de um sujeito com theta extremamente baixo acertar um item
3 PARÂMETROS LOGÍSTICOS (3-PL)
O calculo de um modelo de 3-PL
parâmetro c
= probabilidade de a resposta ser 1 quando o sujeito aproxima-se de -∞
3 PARÂMETROS LOGÍSTICOS (3-PL)
Representação gráfica de 2 itens com diferentes
impacta em
é fixo, independente do •
3 PARÂMETROS LOGÍSTICOS (3-PL)
Chute / pseudo-chute
Chute: 1 / número de respostas: → 1/5 = 0.20 (valor teórico)
Pseudo-chute: Atratividade das opções de resposta aumentam ou diminuem a chance de acerto ao acaso (valor empírico); Muito frequentemente c é menor que a proporção do número de respostas (e.g., 1/5; 1/7)
Criadores de itens usam equívocos comuns dos respodentes para que eles endossem respostas incorretas, o que diminui a chance de acerto ao acaso. Valor de c pode ser mais alto do que o valor teórico
A probabilidade da resposta certa é aumentada, por uma questão mal formulada. 3 PARÂMETROS LOGÍSTICOS (3-PL)
Chute / pseudo-chute
Charles Spearman e Karl Pearson
Louis Thurstone e Georg Rasch
Denny Borsboom e David Andrich
Paul Simon e Art Garfunkel
Ronald Hambleton e Bengt Muthén
3 PARÂMETROS LOGÍSTICOS (3-PL)
A estimativa do parâmetro *c** *é influenciado por algumas características da amostra:
4 PARÂMETROS LOGÍSTICOS (4-PL)
Desenvolvido por Barton e Lord (1981)
Dificuldade (b), discriminação (a), acerto ao acaso (c), desatenção (d) Às vezes, os sujeitos erram algumas questões por distratores externos
Desatenção
Ansiedade
Falta de familiaridade com o computador
Condições precárias dos testes
Erro de interpretação de uma pergunta Modelos de 1, 2 e 3-PL tendem a penalizar muito a estimação do escore do sujeito (Liao, Ho, Yen, & Cheng,
Testagem Adaptativa Computadorizada sofre muito impacto no ajuste da bateria ao respondente (Hockemeyer, 2002; Rulison & Loken, 2009).
Desenvolvido por Barton e Lord (1981)
Acerto ao acaso Assíntota inferior (c)
Assíntota superior (d)
Dificuldade (b)
Discriminação (a)
4 PARÂMETROS LOGÍSTICOS (4-PL)
O calculo de um modelo de 4-PL
parâmetro c (acerto ao acaso)
= parâmetro d (desatenção)
4 PARÂMETROS LOGÍSTICOS (4-PL)
4 PARÂMETROS LOGÍSTICOS (4-PL)
4 PARÂMETROS LOGÍSTICOS (4-PL)
Diferentemente da TCT, na TRI, a qualidade do item não é a mesma para toda amostra
Itens são mais confiáveis para pessoas com nível de traço latente próximo ao seu parâmetro de dificuldade.
Importância de ter uma variabilidade nos parâmetros dos itens, para que o teste seja útil para pessoas em uma ampla faixa de traço latente.
Possibilidade de excluir itens baseados na falta de informação que esses itens trazem na mensuração do construto. 4 PARÂMETROS LOGÍSTICOS (4-PL)
Curva de informação do item (CII) é diretamente derivada da curva característica do item (CCI)
4 PARÂMETROS LOGÍSTICOS (4-PL)
CURVA DE INFORMAÇÃO DO ITEM(CII)
2.2
2.2
Curva de Informação do Item (escala politômica) deriva do padrão de respostas aos thresholds
Retirado de Frey (2018)
CURVA DE INFORMAÇÃO DO ITEM(CII)
CURVA DE INFORMAÇÃO DO ITEM(CII)
CURVA DE INFORMAÇÃO DO TESTE
Soma das CIIs
Indica o quanto o teste como um todo é útil para diferentes níveis de traço latente
A estimativa de precisão na TRI varia na amostra!
0.9
Erro-Padrão
Quanto mais útil é o teste para determinado nível de traço latente, menor é o erro padrão da estimativa dos parâmetros.
Possibilita entender como pode-se melhorar o teste para diferentes níveis de raço latente
CIT é derivado da soma das CII:
CURVA DE INFORMAÇÃO DO TESTE
Possibilidade de comparar diferentes versões de um teste
Retirado de Frey (2018)
CURVA DE INFORMAÇÃO DO TESTE
FUNCIONAMENTO DIFERENCIAL DO ITEM(DIF)
Funcionamento Diferencial do Item
DIF uniforme e não-uniforme
FUNCIONAMENTO DIFERENCIAL DO ITEM(DIF)
Diferença no nível de traço latente e diferença na probabilidade de endosso
MEDIDAS DE TAMANHO DE EFEITO EM DIF
Diferentes procedimentos, a depender do modelo de TRI
TAMANHO AMOSTRAL NECESSÁRIO
O tamanho amostral necessário para acessar adequadamente os parâmetros dos itens (calibração) depende de várias questões:
Número de parâmetros a serem avaliados (a, b, c)
Tamanho do teste
Método de estimação
Adequação da dificuldade do teste x habilidade da amostra
Quanto mais complexo for o modelo (3-PL), maior tenderá a ser o N necessário para
uma boa calibração dos itens
O tamanho amostral necessário para acessar adequadamente os parâmetros dos itens (calibração) depende de várias questões:
Número de parâmetros a serem avaliados (a, b, c)
Tamanho do teste
Método de estimação
Adequação da dificuldade do teste x habilidade da amostra
Quanto mais complexo for o modelo (3-PL), maior tenderá a ser o N necessário para
uma boa calibração dos itens
TAMANHO AMOSTRAL NECESSÁRIO
TAMANHO AMOSTRAL NECESSÁRIO (1-PL)
Rasch
Retirado https://www.rasch.org/rmt/rmt74m.htm
Rasch (para maior segurança na avaliação dos thresholds)
20 itens (escala likert de 5 pontos) - 80 thresholds → > 800 participantes
(Linacre, 1999, 2002; Zhu, 2002; Zhu, Updike, & Lewandowski, 1997)
TAMANHO AMOSTRAL NECESSÁRIO (1-PL)
1-PL** ****(dificuldade)**
150 participantes aceitável para testes de todos os tamanhos 2-PL** ****(dificuldade**** ****+**** ****discriminação)**
750 participantes para 10 itens; 500 para 20 itens; 250 para 30 itens; 3-PL** ****(dificuldade**** ****+**** ****discriminação**** ****+**** ****chute)**
750 participantes para 10 e 20 itens; 350 para 30 itens. (Sahin & Anil, 2017)
500 participantes para 30 itens (ótimo); 200 participantes para +15 itens (Aceitável)
(Akour & Al-Omari, 2013)
500 participantes (resultados ótimos para todos os três parâmetros)
(Primi & Nunes, 2005)
TAMANHO AMOSTRAL NECESSÁRIO
Obrigado!
Luiz Diego Vidal Santos
Universidade Estadual de Feira de Santana (UEFS)
UEFS | Análise de Dados Ambientais | Introdução à TRI